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(§) Verfahren zur beruhrungslosen raumlichen Positionsrhessung in Roboterarbeitsraumen 

@ Roboterbasierte Fertigungszellen werden mit einer zuneh- 
menden Anzahl von Bearbeitungs-, Pruf-, Zufuhr- und 
AbfGhreinrichtungen ausgestattet. Oiese Einrichtungen ver- 
fugen je nach ihren innewohnenden Freiheitsgraden uber 
unterschiedliche Koordinatensysteme, die beim Zusammen- 
spiel in einem Fertigungsablauf aufelnander abgestimmt 
werden mussen. Bislang wird dies manuell und damit 
zeitraubehd wahrend der Inbetriebnahme mit Hilfe externer 
Vermessungsgerate oder durch Einlernen von Bewegungs- 
positionen (Teach-in) durchgefuhrt. 

In der hier beschriebenen Erfindung wird dieses Problem 
dadurch geldst, daB mit Hilfe des Roboterarms die photo- 
grarhmetrischen Parameter ortsfester, elektronischer Bild- 
aufnehmer bestimmt und auf ein gemeinsames Koordina- 
tensystem bezogen werden. Damit konnen alle Positionen 
von nicht an das Roboterkoordinatensystem gebundenen 
Einrichtungen durch photogrammetrische Vermessung zu- 
geordneter Bildaufnehrher in Bewegungspositionen fur den 
Roboter umgerechnet werden. 

Dieses Verfahren ermoglicht wahrend der Arbeitsphase 
selbst bei beweglichen Peripherieeinrichtungen eine Online- 
Zuordnung der Koordinatensysteme. Fertigungszellen mit 
fuhrerlosen Transportfahrzeugen, variabel position ierten Pa- 
lettensystemen oder mobilen Robotersystemen konnen so- 
mit durch die Vermessung der peripheren Koordinatensyste- 
me aufeinander abgestimmt von Steuerungsprogrammen 
bedient werden. 
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Beschreibung 
Technisches Gebiet 

iper.pnere fcinnchtungen). In diesen Zellen besitzt nicht nur der Roboter Bewegungsfreiheitserade sondem anrh 
ttfTu nten n P er, P heren Emriehtungen. Urn das Handhaben von Werkstiickfn und W £S n den unter 
■ Sin H?n C e T egU p? Sra r e " kontrolliert zu ermoglichen, mQssen immer wiederTendezv^^^^^^ 
rmT f de 1 einze ' nen Emnchtungen existieren. Mit Hilfe des Roboters und auf ihn kalibrier* e reS 

^^^J^S^X^ .erden. bei ttSSTS? 

Zugrundeliegender Stand der Technik 

r JL„J 3 a Teach-m-Mechanisoien mit denen e nach Ausfiihrung jedes Gelenk einzeln oder X 

Ge lenke koordiniert in e.nem kartesischen System des Roboters bewegt Stutzounkte dieser £S2.S?h-I 
speichert und fur das Roboterprogramm benutzt werden kdnnen ^utzpunkte d.eser Bewegung abge- 

, A m nu d ' ger ' St d f D manuelle Vermessen der Fertigungszelle mit Hilfe von Theodoliten oder von filmeestii.7 
Te^t t^T^ B r« der Nahb ^^^Photogrammetrie ([KRAU83]). VorteZf?gegen7berS 
Teach-.n .st allerd.ngs, daB nur e.nige wenige Koordinaten der jeweiligen peripheren Einrichtune f«t«Te^ 

zsz^^xn? Koordinaten aus der be — *™ — ™«i ^s^sss 

Beiden Verfahren ist gemein, daB Anderungen im Aufbau der Fertigungszelle langere Stillstandzeiten der 
fnnH gU " g H ^ t™ e f « En ™»«en der Koordinaten mit nicht unerheblichem PersonaUufwand fofgen Insoe 
T^nrnr d f y h am,SChe K AnderUng t n der ^-"dinatensysteme. wie sie durch mobile Robote oder Srer ose 
Transportfahrzeuge hervorgerufen werden, Iconnen durch die beiden genannten Ansatze nicht auEnSn 
werden sondern nur m,t einem erhohten mechanischen Aufwand bei den Lndezvou S£ Sonen geSweX 

Em 2S ^Z^yT^T'T 8 3Uf der BasiS V ° n Bildern sind aus dcr Photogrammetrie hinlang ich bekannt 
R/nroH f c U T erde " daZU 3UCh e,ek,roni **e Bildaufnehmer in Form von Videokamer a rein g esetzt 
fnrrir f ^ geb "!r S !f W f- rd L en dabei insbesond ^ ™t Halbleiterkameras erreicht, bei dene d A S 

fortder L.chtstrahlen auf der l.chtempfindlichen Flache des Aufnehmers durch die geometrisch hochgenaue 
Fertigung des Ch ip s genugend exakt bestimmt werden kann. geomemscn nocngenaue 

ten^^Zn^lT^ 1 K™*™^*™ werd en auf Basis von sog. positionsempfindlichen Einhei- 
SBSS n ^ 1 ^^ IhP EmSatZ Wird fUr das R °boterumfeld ebenfalls vorgeschlagen 
([ ™i S' J t . • " xrT ^ aChtei1, daB ZU e,nem Zeit P unkt "">• ein einziger Punkt vermessen werden kann 
„n?H a r a g v'T ^eokamsra, m,t einer Bildwiederholrate im Bereich von 5 bis 100 Hz Szenen abzubilden 
mt S, £ j V f ^ IZahl ™ ™**nten oder markierten Punkten fur Vermessungen zur Verfugung zu Me len 
macht s.e gerade fur die in d.eser Erfindung beschriebene Aufgabenstellung interessant. Die Verfflfbarkei t 2 
Massenprodukt wrrkt sich zwar negativ auf die optischen Qualitaten aus, diese kann jedoch durch ^^Verwenlng 
ernes gee.gneten Abbildungsmodells rechnerisch ausgeglichen werden ([LENZ88]), ([FOHR901). Insbesondere 
mufi 1 e,n solches photogrammetrisch basiertes Verfahren von DT 24 30 058 Al abgegrenzt werden da oie don 
^hrnT" 11 "^ 6 ' R ? boter P° sition eingesetze Videokamera lediglich die geometris^he VerSung UzieHer 
ke' t liegt 6 WC,t Je " SeitS diC Vermessu "S in Fertigungszellen erforderlichen Genauig- 

Stand der Technik fur die Vorgehensweise bei der Kalibrierung ist die Verwendung von vorher vermessenen 
ICalibnerungskorpern m.t Markierungen, die als PaBpunkte einmalig zur Bestimmung der AbbildungsnTram^ 
genutzt werden ([PHIL81]), ([FOHR90]). Erweitert wurde der Ansatz bei bewegten Kamera^ ^durch ilne nIH 
ka hbnerung der sog. aufleren Orientierung der Kamera, das sind die Bewegunglfreiheitsgrade deH Camera mi 
H.lfe dauernd s.chtbarer ebener PaBpunktanordnungen ([MEIS89]). neusgraae Camera, m.t 

Offenbarung der Erfindung 

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur raumlichen Positionsmessung in Roboterarbeits 
raumen so auszub^den daB der Roboter selbst die PaBpunkte fur die Kalibrierung eines elektroS 
stem ZU? wXung s?et Ch ^ Vermessu ^ en vo " Ne "P-kten ei/gemeinsa^rKoo^^^^^^ 

Unter der Kalibrierung eines Bildaufnehmers wird der Vorgang verstanden bei der di.rrh >inp .in'™ n ii„- 
Gegenuberstellung von bekannten Weltkoordinaten (PaBpunkfe) und d^ ^^h^ B^nl^n^ 3 ^ 

K?mer!,I ranSf H rmat,0nS T SChn VOn Weh " '« Bi| d k oordinaten bestimmt wird. Erne sSerar kalSnerte 
Kamera kann dann unter best.mmten Randbedingungen fiir die raumliche Vermessung von SzenenDunSn 
(Neupunkte) e,ngesetzt werden. Diese Kalibrierungsverfahren und die RandbedinTungen fur Je^ 

dT„S d u SS^ 

Neu m d.eser Erfindung ist die Verwendung des Roboters fur die Erzeugung der PaBpunkte und dadurch die 
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gleichzeitige Bereitstellung eines gemeinsamen Koordinatensystems, z. B. des des Roboterkoordinatensystems, 
fur alle Komponenten der Fertigungszelle. So konnen die von den kalibrierten Bildaufnehmern gelieferten 
raumlichen Informationen direkt im Steuerungsprogramm des Roboters Verwendung finden. Entsprechend 
vorbereitete Positionsvariabien konnen dann in diesem Programm zur Laufzeit mit den so gewonnenen Werte 
besetzt werden. ■ 

Im einzelnen sind folgende Phasen innerhalb des im Patentanspruch aufgefuhrten Verfahrens vorgesehen: 

1. Kalibrierungsphase (Verfahrensschritte (a) bis (c)) In der Fertigungszelle werden an verschiedenen Stellen zur 
Uberwachung von Rendezvous-Punkten elektronische BiJdaufnehmer installiert. Ihre Position wird so gewahlt, 
daB der jeweilige Szenenausschnitt optimal in Bezug auf Auflosung und Blickfeld gestaltet ist. Zur vollstandigen 
raumlichen Vermessung sollte ein Szenenpunkt von zwei Kameras erfaBt werden konnen. 

Andernfalls mussen Randbedingungen, wie z. B. die Einschrankung von Freiheitsgraden der zu vermessenden 
Objekte oder die Vorgabe von Abmessungen, berucksichtigt werden. 

Der Robotereffektor ist nun mit einer Markierung versehen, deren Position relativ zum Roboterkoordinaten- 
system, beispielsweise dem Werkzeugmittelpunkt (TCP, tool center point) bekannt ist. Fur den Roboter wird nun 
ein Bewegungsprogramm erstellt, in dem so viele Positionen angefahren werden, daB fur die Parameteridentifi- 
kation des verwendeten Abbildungsmodells der Bildaufnehmer geniigend viele Paare von PaBpunktkoordinaten 
und zugehorigen Bildpunktkoordinaten gebildet werden konnen. Diese Paare werden nun unter Berucksichti- 
gung der Ausgleichsrechnung zur Bestimmung der einzelnen Parameter einschlieBlich der Position und Orien- 
tierung des Auf nehmers relativ zum Roboterkoordinatensystem herangezogen. 

2. Vermessungsphase (Verfahrensschritte (d) bis (f)). 

Die nun kalibrierten Kameras uberwachen die ihnen zugedachten Rendezvous- Punkte. Diese konnen aufgrund 
ihrer Gestalt als markante Punkte im Bild sichtbar werden oder mit Hilfe von Markierungen gekennzeichnet 
werden. Die ermittelten Bildkoordinaten werden mit Hilfe des Abbildungsmodells in die Welt zuruckprojiziert 
und mit der Projektion der Bildkoordinaten des zeitgleich aufgenommenen, gleichen Objektpunktes aus einem 
anderen Bild geschnitten (Raumlicher Vorwartsschnitt nach ([WALD79]). Das Ergebnis des Vorwartsschnitts ist 
die raumliche Koordinate des beobachteten Objektpunktes im Koordinatensystem der vorangegangenen Kali- 
brierung. 

Der raumliche Vorwartsschnitt mit Hilfe zweier Projektionsstrahlen kann ersetzt werden durch die Projek- 
tion bekannter Formen auf einen einzigen Bildaufnehmer. In ([FOHR90]) finden sich Rechenvorschriften fur die 
ebenen Grundfbrmen Kreis und Polygon. 

Die Markierung des Robotereffektors und der peripheren Eihrichtungen kann auf verschiedene Weise reaii- 
siert werden. 

In einer Ausgestaltung des Verfahrens wird ein passives, reflektierendes System am Effektor mit einer aktiven 
Beleuchtung parallel zur Kamera benutzt. Die zuriickgeworfenen Lichtstrahlen erzeugen im Vergleich zur 
Umgebung einen hohen Helligkeitspegel. 

In einer alternativen Ausgestaltung werden schaltbare Lichtquellen als Markierung verwendet. Durch eine 
rechnerische oder mefltechnische Differenzbildung zwischen einem Bild mit ein- und einem mit ausgeschalteter 
Lichtquelle wird die Markierung im.Bild besonders hervorgehoben. Die geschaltete Lichtquelle kann bei 
kontinuierlicher Uberwachung regelmaBig vom Bildaufnehmer oder ereignis- respektive programmgesteuert 
vom Roboterprogramm ausgelost werden. 

Bei schwierigen Umgebungsbedingungen kann zur besonderen Hervorhebung im Bild auch eine Farbselek- 
tion durch die Verwendung optischer Filter auf Lichtquelle und Bildaufnehmer eingesetzt werden. 

Es gibt Ausgestaltungen des Verfahrens, in denen die ICalibrierung einmalig ist, z. B. bei fest montierten 
Robotern; In anderen Ausgestaltungen muB die Kalibrierung jedesmal neu durchgefuhrt werden, wenn sich das 
Bezugssystem des Roboters geandert hat In diesem Fall verkurzt die gleichzeitige Verwendung von mehreren 
Markierungen die Ausfuhrungszeit der Kalibrierungsphase. 

Neben dem Roboter konnen in weiteren Ausgestaltungen des Verfahrens auch Teile der peripheren Einrich- 
tungen beweglich sein. Dann vermessen die auf das Roboterkoordinatensystem kalibrierten Bildaufnehmer die 
Position und die Orientierung dieser Teile jeweils neu, wenn durch eine geeignete Anbringung der Bildaufneh- 
mer ein oder mehrere Markierungen aufgenommen werden. 

Analog kann ein Programmierzeiger zur Angabe raumlicher Koordinaten oder Orientierung verwendet 
werden. In einer Ausgestaltung des Verfahrens konnen so, ohne den Roboter zu bewegen, Positionen und 
Orientierungen gezeigt und damit fur die Programmierung gelernt werden. Durch die auf das Roboterkoordian- 
tensystem kalibrierten Bildaufnehmer liegen alle MeBergebnisse der Vermessungsphase bereits im richtigen 
Koordinatensystem vor. 

In einer letzten Ausgestaltung des Verfahrens werden auch alle mit den auf das Roboterkoordinatensystem 
kalibrierten Bildaufnehmern vermessenenen Werkstucke unmittelbar fur das Roboterprogramm geeignet in 
ihrer Position bestimmt. Als MeBpunkte konnen hier speziell aufgebrachte Markierungen oder markante Details 
wie Ecken oder Bohrungen verwendet werden. ■ ' - 

Erlauterung der Zeichnungen 

Bild lb zeigt das in der Photogrammetrie ubliche und zur Lochkamera (Bild la) mathematisch aquiv^lente 
Abbildungsmodell eines Bildaufnehmers. Dabei wird die lichtempfindliche Flache (Bildebene BE), die physika- 
lisch hinter der Optik sitzt, wie eine Mattscheibe gleicher GroBe im gleichen Abstand vor dem Linsenmittelpunkt 
L behandelt; Dieser Linsenmittelpunkt wird im folgeiiden zum Projektionszentrum O. Durch diese Vorgehens- 
weise braucht fur die Abbildung einer Szene keine Umkehrung berucksichtigt werden. 

Bild 2 zeigt die innere und auBere Orientierung eines idealisierten Bildaufnehmers sowie einen Punkt P i im 
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naZ(tllVz^^TSS^- der ° rie «^/«^Parameter verwendet werden soli. O mit den Koordi- 
zw schen^^ ^ ° ^ Ka ""nerkonstante genannt und ist der Absttnd 

sogenannte Bildhauptpunkt H(u h?h 7n?K optischen Achse durch die Projektionsflache ist der 
be«imm, Daim is, d« %EZ£2 bdfeKftaS^ESSTS ."" C me " ,s »T Koordina,e„ sysK 7n 

Bild 4 zeigt nun ein Szenario aus mehreren ortsfesten Bildaufriehmern Bi (i - l ^ in ^in^r f« 

2 o mer die Vorgabeder benoligtS fpflfiSS " er ' aUbt S ° ** Kalibrie ™g der Bildaufneh- 

nehmer' efSltSi ^S^^^TT^T ** Zu,iefertc " e "*>er die Bi.dauf- 

Ausfuhrungsbeispiel der Erfindung 

eine^eVpacktS eine m Roboter, einer Zufuhrungseinrichtung und 

flachendec^ ZufOhrungseinrichtung und 

Be. der h.er geze.gten Handhabungsaufgabe sollen verschiedene Teiletypen die jeweils einzeln in Rehzu. 

u = (hi 1 'x + h 1 2«y + h 13*z + h 14)/(h3 1 *x + h32*y + h33*z + 1), 
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v = (h2rx + h22'y + h23*z + h24)/(h31*x + h32*y + h33'z+l) 
45 mit 

(x, y, z) = P Raumpunktkoordinaten, 
(u, v) = B Bildpunktkoordinaten, 
nJ1 h33) — H Abbildungsparameter. 
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Die Kalibrierung der [Cameras ist gleichbedeutend mit der Bestimmung der Abbildungsparameter H k fmi. 
dem Kamera.ndex k, k = 1 . . . Kameraanzahl). Zur Kalibriernng fahrt der Roboter im BliSfeld I der BilH^.fn^h 
n,er Punkte an, deren Koordinaten PJ (mit dem Markierungfpunktinde tl i = „ ? toSSSSdt 
Mark.erungspunkte) bezuglich des Roboterkoordinatensystems bekannt sein mUssen Aus del BiSn Z F 
STE^S^ * Bild * oordinatcn KV der Projektionen der M^eru^^^tiLt ^,SS^ 
zen der Markierungspunktraumkoordinaten P i und der zugehorigen Bildkoordinaten B ki vhn^K * 
s^SeTml^H^ erhalt man far fede K^'^ 

' n d f Vermessungsphase werden die unterschiedlichen Behalterpositionen Ober die kalibrierten Rild a .,fn < .h 
mer Bl und B2 vermessen werden. FQr die Vermessung der einzelnen Behalter Kl nd h k 
ge^rten Tede kommtdieMe^ und und der « >hnen 

d,e sich dynamisch andernden Zielpositionen in B^e^oSZZ Rob'tts SSSLS dam,t ' mmer 
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Patentanspruche 

1. Verfahren zur ( beruhrungslosen raumlichen Positionsmessung in Roboterarbeitsraumen mit dem.Ziel, die 
Bewegungsfreiheitsgrade von Robotern einerseits und Bearbeitungs-, Priif-, Zufuhr- und Abfuhreihrichtun- 
gen (periphere Einrichtungen) andererseits in ein gemeinsames Koordinatensystem abzubilden, mit den 
Verfahrensschritten: 

(a) Aufnehmen von Bildern eines markierten Robotereffektors an unterschiedlichen.jeweils im Robo- 
terkoordinatensystem bekannten Positionen mit mehreren elektronischen Bildaufnehmern, 

(b) Oberfuhren der aufgenommenen Bilder in eine rechnerverarbeitbare Form mit dem Ziel einer 
rechnergestutzten Weiterverarbeitung, 

(c) Kalibrieren der Bildaufnehmer durch Vprgabe der Effektorpositionen als PaQpunkte und nachfol- 
gender Parameteridentifikation des Abbildungsmodells des Bildaufnehmers, 

(d) Aufnehmen von Bildern des Arbeitsraumes durch die auf ein gemeinsames Koordinatensystem 
kalibrierten Bildaufnehmer, 

(e) Oberfuhren der aufgenommenen Bilder in eine rechnerverarbeitbare Form mit dem Ziel einer 
rechnergestutzten Weiterverarbeitung, 

(f) raumliches Vermessen von markierten oder markanten Punkten im Blickfeld der kalibrierten Bild- 
aufnehmer durch raumlichen Vorwartsschnitt korrespondierender Bildpunkte und Zuordnung der 
Koordinaten im Roboterkoordinatensystem, 

dadurch gekennzeichnet, daB 

(g) der Robotereffektor mit einer Markierung versehen ist, die ein eindeutiges Auffinden der Markie- 
rung im Bild der verschiedenen Aufnehmer ermoglicht und deren Position relativ zum Roboterkoordi- 
natensystem uber die Robotersteuerung ermittelt werden kann, 

(h) die Bildaufnehmer durch die Vorgabe von Effektorpositionen des Roboters als PaBpunkte mit 
bekannten Koordinaten auf ein gemeinsames Koordinatensystem, z. B. das Roboterkoordinatensy- 
stem, kalibriert werden. 

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB die irri Verfahrensschritt (g) genannte Markie- 
rung durch reflektierende Einrichtungen realisiert und durch eine parallel zur Blickrichtung der Bildaufneh- 
mer ausgerichtete Beleuchtung bespnders im Bild hervorgehoben wird. 

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daB die in Verfahrensschritt (g) genannte Markie- 
rung durch ein oder mehrere schaltbare Lichtquellen realisiert und durch einen gesteuerten Helligkeits- 
wechsel besonders im Bild hervorgehoben wird. 

4. Verfahren nach Anspruch 1 oder 3, dadurch gekennzeichnet, daB die in Verfahrensschritt (g) genannte 
Markierung durch ein oder mehrere Lichtquellen realisiert und durch eine Farbselektion mit einer abge- 
stimmten optischen Filterkombination auf Lichtquelle und Bildaufnehmer besonders im Bild hervorgeho- 
ben wird. 

5. Verfahren nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, daB die Verfahrensschritte (a) bis 
(c) nur einmalig in der Einrichtphase durchgefuhrt werden. 

6. Verfahren nach einem der Anspruche 1 bis 4, dadurch gekennzeichnet, daB die Verfahrensschritte (a) bis 
(c) zumindest teilweise kontininuierlich wiederholt werden, urn eine laufende Anpassung an ein bewegtes 
Bezugskoordihatensystemdurchzufuhren. 

7. Verfahren nach einem der Anspruche 1 bis 6, dadurch gekennzeichnet, daB die peripheren Einrichtungen 
ebenfalls mit einer oder mehreren Markierungen versehen sind; die nach den Verfahrensschritten (d) bis (f) 
vermessen werden und damit eine eindeutige Zuordnung der jeweiligen Koordinatensysteme der periphe- 
ren Einrichtungen auf das gemeinsame Koordinatensystem ermoglichen. 
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e'be^ daB ein Prbgrammierzeiger 

leg'eXs^ WWd T dem Ziel ' eine <"Mem Zeiger festje- 

(^(OinBez^^^ 
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